Vehicle Keypoint Detection and Fine-Grained Classification using Deep Learning

Los sistemas de detección de puntos clave en vehículos y de clasificación por marca y modelo han visto como sus capacidades evolucionaban a un ritmo nunca antes visto, pasando de rendimientos pobres a resultados increíbles en cuestión de unos años. La irrupción de las redes neuronales convolucionales y la disponibilidad de datos y sistemas de procesamiento cada vez más potentes han permitido que, mediante el uso de modelos cada vez más complejos, estos y muchos otros problemas sean afrontados y resueltos con enfoques muy diversos. Esta tesis se centra en el problema de detección de puntos clave y clasificación a nivel de marca y modelo de vehículos con un enfoque basado en aprendizaje profundo. Tras el análisis de los conjuntos datos existentes para afrontar ambas tareas se ha optado por crear tres bases de datos específicas. La primera, orientada a la detección de puntos clave en vehículos, es una mejora y extensión del famoso conjunto de datos PASCAL3D+, reetiquetando parte del mismo y añadiendo nuevos keypoints e imágenes para aportar mayor variabilidad. La segunda, se trata de un conjunto de prueba de clasificación de vehículos por marca y modelo basado en The PREVENTION dataset, una base de datos de predicción de trayectoria de vehículos en entornos de circulación real. Por último, un conjunto de datos cruzados (Cross-dataset) compuesto por las marcas y modelos comunes de tres de las principales bases de datos de clasificación de vehículos, CompCars, VMMR-db y Frontal-103. El sistema de detección de puntos clave se basa en un método de detección de pose en humanos que mediante el uso de redes neuronales convolucionales y capas de-convolucionales genera, a partir de una imagen de entrada, un mapa de calor por cada punto clave. La red ha sido modificada para ajustarse al problema de detección de puntos clave en vehículos obteniendo resultados que mejoran el estado del arte sin hacer uso de complejas arquitecturas o metodologías. Adicionalmente se ha analizado la idoneidad de los puntos clave de PASCAL3D+, validando la propuesta de nuevos puntos clave como una mejor alternativa. El sistema de clasificación de vehículos por marca y modelo se basa en el uso de redes preentrenadas en el famoso conjunto de datos ImageNet y adaptadas al problema de clasificación de vehículos. Uno de los problemas detectados en el estado del arte es la saturación de los resultados en las bases de datos existentes que, por otra parte, se encuentran sesgadas, limitando la capacidad de generalización de los modelos entrenados con ellas. Se han usado múltiples técnicas de aprendizaje y ponderación de los datos para tratar de aliviar el impacto del sesgo de los conjuntos de datos. Para poder evaluar la capacidad de generalización en situaciones reales de los modelos entrenados, se ha hecho uso del conjunto de pruebas derivado del PREVENTION dataset. Adicionalmente, se ha hecho uso del Cross-dataset para evaluar la complejidad de las bases de datos existentes y las capacidades de generalización de los modelos entrenados con ellas. Se demuestra que, sin hacer uso de complejas arquitecturas, se pueden obtener resultados competitivos y la necesidad de un conjunto de datos que refleje de manera adecuada el mundo real para poder afrontar adecuadamente el problema de clasificación de vehículos.Vehicle keypoint detection and fine-grained classification systems have seen their capabilities evolve at an unprecedented rate, from poor performance to incredible results in a matter of a few years. The advent of convolutional neural networks and the availability of large amounts of data and progress in computational capabilities have allowed these and many other problems to be tackled and solved with very different approaches using increasingly complex models. This thesis focuses on the problems of keypoint detection and fine-grained classification of vehicles with a deep learning approach. After the analysis of the existing datasets to tackle both tasks, three new datasets have been built. The first one, oriented to the detection of keypoints in vehicles, is an improvement and extension of the famous PASCAL3D+ dataset, re-labelling part of it and adding new keypoints and images to provide more variability. The second is a vehicle make and model classification test set based on the PREVENTION dataset, a realworld driving scenario vehicle trajectory prediction dataset. Finally, a cross-dataset composed of common makes and models from three major vehicle classification databases, CompCars, VMMR-db and Frontal-103. The keypoint detection system is based on a human pose detection method that by using convolutional neural networks and deconvolutional layers generates, from an input image, a heat map for each keypoint. The network has been modified to fit the problem of keypoint detection in vehicles obtaining results that improve the state of the art without using complex architectures or methodologies. Additionally, the suitability of the PASCAL3D+ keypoints has been analysed, validating the proposal of new keypoints as a better alternative. The vehicle make and model classification system is based on the use of ImageNet pre-trained networks and fine-tuned for the vehicle classification problem. One of the problems detected in the state of the art is the saturation of the results in the existing datasets, which, moreover, are biased, limiting the generalisation capacity of the models trained with them. Multiple data learning and weighting techniques have been used to try to alleviate the impact of dataset bias. In order to assess the generalisation capabilities of the trained models in real situations, the PREVENTION test set has been used. Additionally, the cross-dataset has been used to evaluate the complexity of the existing datasets and the generalisation capabilities of the models trained with them. It is shown that competitive results can be achieved without the use of complex architectures and that a high quality dataset that adequately reflects the real world is needed in order to properly address the vehicle classification problem

Simple Baseline for Vehicle Pose Estimation: Experimental Validation

Significant progress on human and vehicle pose estimation has been achieved in recent years. The performance of these methods has evolved from poor to remarkable in just a couple of years. This improvement has been obtained from increasingly complex architectures. In this paper, we explore the applicability of simple baseline methods by adding a few deconvolutional layers on a backbone network to estimate heat maps that correspond to the vehicle keypoints. This approach has been proven to be very effective for human pose estimation. The results are analyzed on the PASCAL3DC dataset, achieving state-of-the-art results. In addition, a set of experiments has been conducted to study current shortcomings in vehicle keypoints labelling, which adversely affect performance. A new strategy for de ning vehicle keypoints is presented and validated with our customized dataset with extended keypoints

WiFi-based urban localisation using CNNs

IEEE Conference on Intelligent Transportation Systems - ITSC 2019, 27-30/10/2019, Auckland, Nueva Zelanda.The continuous expanding scale of WiFi deployments in metropolitan areas has made possible to find WiFi access points at almost any place in our cities. Although WiFi has been mainly used for indoor localisation, there is a growing number of research in outdoor WiFi-based localisation. This paper presents a WiFi-based localisation system that takes advantage of the huge deployment of WiFi networks in urban areas. The idea is to complement localisation in zones where the GPS coverage is low, such as urban canyons. The proposed method explores the CNNs ability to handle large amounts of data and their high accuracy with reasonable computational costs. The final objective is to develop a system able to handle the large number of access points present in urban areas while preserving high accuracy and real time requirements. The system was tested in a urban environment, improving the accuracy with respect to the state-of-the-art and being able to work in real time

Observació i estudis. Productes i usuaris

Facultat de Belles Arts, Universitat de Barcelona. Assignatura: Artefactes i usos: disseny inclusiu, Curs: 2022-2023, Coordinador: Miquel Mallol Esquef

Sobre algunos resultados de la teoría de caracteres en grupos finitos

Este trabajo ha sido escrito con la intención de dar una breve introducción a la teoría de caracteres en grupos finitos y ejemplificar con algunos resultados básicos la importancia que juega ésta en la teoría de grupos. Para esto, se presupone todo el material básico sobre grupos, y algunos conocimientos extras tales como álgebra lineal y un poco de teoría de anillos y campos; siempre que mencionemos la palabra grupo, nos referiremos a un grupo finito a menos que se diga explícitamente lo contrario

In memoriam

Santiago Díaz PiedrahitaBotánico, Profesor Titular y Emérito. Instituto de Ciencias Naturales, Facultad de Ciencias, Universidad Nacional de Colombia.Bogotá 18 de julio de 1944 - 04 de marzo de 2014

In memoriam

Santiago Díaz PiedrahitaBotánico, Profesor Titular y Emérito. Instituto de Ciencias Naturales, Facultad de Ciencias, Universidad Nacional de Colombia.Bogotá 18 de julio de 1944 - 04 de marzo de 2014

Release of functional fibroblast growth factor-2 from artificial inclusion bodies

Growth factors are required for cell proliferation and differentiation under physiological conditions but especially in the context of regenerative medicine. The time-prolonged administration of those factors has been explored using different sustained drug delivery systems. These platforms include natural materials such as bacterial inclusion bodies (IBs) that contain chaperones and other bacterial components that might favour protein release. Being successful from a functional point of view, IBs pose regulatory concerns to clinical applications because of the mentioned presence of bacterial cell components, including endotoxins. We have here explored the release and activity of the human fibroblast growth factor-2 (hFGF-2) from a novel synthetic material, namely artificial IBs. Being chemically homogenous and compliant with regulatory restrictions, we wondered if these materials would effectively release functional proteins in absence of accompanying bacterial agents. The data provided here fully supports that artificial hFGF-2 IBs act as true and efficient secretory granules and they slowly disintegrate in cell culture to promote wound healing in an in vitro wound healing model. Free from undesired bacterial components, artificial inclusion bodies show promises as delivery agents in regenerative medicine.Fil: Serna, Naroa. Universitat Autònoma de Barcelona; EspañaFil: Cano Garrido, Olivia. Universitat Autònoma de Barcelona; EspañaFil: Sanchez, Julieta Maria. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Córdoba. Instituto de Investigaciones Biológicas y Tecnológicas. Universidad Nacional de Córdoba. Facultad de Ciencias Exactas, Físicas y Naturales. Instituto de Investigaciones Biológicas y Tecnológicas; Argentina. Universitat Autònoma de Barcelona; EspañaFil: Sánchez Chardi, Alejandro. Universitat Autònoma de Barcelona; EspañaFil: Sánchez García, Laura. Universitat Autònoma de Barcelona; EspañaFil: López Laguna, Héctor. Universitat Autònoma de Barcelona; EspañaFil: Fernández, Ester. Universitat Autònoma de Barcelona; EspañaFil: Vázquez, Esther. Universitat Autònoma de Barcelona; EspañaFil: Villaverde Corrales, Antonio. Universitat Autònoma de Barcelona; Españ